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Модель одни! вадпов1д! на питання 
в природно-мовних системах тестування 


В статье рассматривается проблема моделирования вопросов на перечисление в системах компьютерного 
тестирования знаний. Предложена модель ответа на перечисление, учитывающая составляющие предметной 
области ответа и естественно-языковые средства их выражения. Представлен алгоритм анализа и оценки 
ответа на перечисление. 

Ключевые слова: система тестирования, критерий оценки, модель ответа, 

естественный язык. 
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Введение 


Одно из развивающихся направлений В информационных технологиях — приме- 
нение компьютерных технологий в образовании: обучающие системы, системы контроля 


«Штучний 1нтелект» 22012 33 


Звенигородский А.С., Иванова С.Б., Чернышова В.Н. 


знаний. Важной проблемой в этих системах является минимизация влияния учителя на 
объективность оценки знаний тестируемых. Использование вопросов в виде тестов [1] 
позволяет избежать присутствия учителя при анализе результатов, однако не позволяет 
всесторонне оценить уровень знаний обучаемого. Это связано с ограничениями по типам 
вопросов систем тестирования. В настоящее время преобладающим типом вопроса яв- 
ляется выбор правильного ответа из набора предложенных. При таком тестировании 
возникает проблема случайного угадывания и логического исключения заведомо непра- 
вильных вопросов [2]. Применение вопросов, требующих развернутого ответа, приводит 
к необходимости использования в тестировании естественно-языковых конструкций и 
решения проблемы их анализа и понимания, что является сложной задачей. В результате 
электронные тестовые системы по разнообразию вопросов уступают контролю знаний с 
учителем, поэтому задача построения естественно-языковых систем тестирования даже 
самого низкого уровня является актуальной. 

Целью данной статьи является уменьшение неоднозначности смысловой интер- 
претации естественно-языковых ответов на вопросы одного из классов вопросов и по- 
вышение объективности оценки ответа. 


Анализ проблемы 


В работе [3] описан подход, основанный на семантическом анализе ответа обу- 
чаемого, который основывается на индивидуальных концептуальных грамматиках, 
представляющих собой формальные семантические конструкции ожидаемого ответа. 
Описана семантическая типизация вопросов, на основании которой выполняется 
разбиение множества ответов обучаемого на семантические классы, в каждом из ко- 
торых требуется раскрытие некоторого однотипного смысла, определенного типом 
вопроса. За счет такой типизации вопросов и узкой предметной области, определенной 
заранее при конструировании вопросов, можно представить для каждого типа вопроса 
ограниченный набор допустимых, т.е. логически правильных, смысловых конструкций 
(ответных формул), ряд возможных ответов по каждому вопросу, построить соот- 
ветствующие семантические модели и описать конструкции правильных ответов для 
всех вопросов. Предложенная в работе семантическая классификация вопросно-ответ- 
ных текстов основана на классификации вопросов по сложности раскрываемых отно- 
шений (содержание в тексте ответа типовых или составных отношений одного или не- 
скольких факторов). Однако этот подход не устраняет неоднозначность смысла ответа, 
так как семантические модели являются языковыми и отображают связь между единица- 
ми языка, что не является полностью адекватным для смысла предметной области ответа. 


Постановка задачи 


Существует несколько классов вопросов с ответами на естественном языке, отли- 
чающихся по сложности построения ответа. На наш взгляд, создание общей модели ЕЯ- 
ответов на все классы вопросов является проблематичным. Поэтому мы выбрали один из 
классов вопросов — вопросы на перечисление, чтобы в простой модели решить некоторые 
языковые проблемы, например, синонимии и омонимии, затем распространить новые 
подходы на более сложные вопросы. 

Рассмотрим сущность вопросов и ответов на перечисление. С позиций процесса 
приобретения знаний ответ на перечисление показывает, какие элементы знаний 
(данных) обучаемый запомнил, классифицировал в своей памяти и, в подтверждение 
запоминания, может воспроизвести с помощью естественного языка. Таким образом, 
можно считать, что данные ответа структурированы и представляют модель не- 
которой предметной области (ПрО). Анализ вопросов на перечисление показал, что 
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данными, которые можно перечислять, являются элементы следующих множеств: 
множества сущностей, множества свойств или функций одной сущности, множества 
отношений между сущностями. Для конструктивной постановки задачи воспользуемся 
понятием модель предметной области вопрос-ответа (ПОВО), представленной в [2], и 
адаптируем ее под ответ на перечисление. 

Приведем примеры вопросов на перечисление: «Назовите функции плазматической 
мембраны» (биология), «Какие типы переменных вы знаете?» (информатика), «Назовите 
группы органических соединений в живой природе» (химия), «Приведите примеры ор- 
ганогенных элементов». Ответ на последний вопрос можно представить в виде простого 
ответа, например, «азот, углерод, кислород» или полного ответа: «Органогенными эле- 
ментами являются: азот, углерод и кислород». 

Из этих ответов следует, что речь идет о сущностях (химических элементах) не- 
которой Про, которые в русском языке обозначаются словами: «азот», «углерод», «кис- 
лород». Кроме этого, в ответе могут быть слова: «Органогенными элементами являются», — 
которые не несут информации о сущностях Про, а усиливают выразительность ответа. 
Введем несколько понятий. 

Формально полный ответ на перечисление — это множество элементов пред- 
метной области ответа на перечисление. 

Критерий оценки формального ответа — это расстояние или степень совпадения 
модели, построенной по ответу пользователя, с моделью формально полного ответа. 

Естественно-языковая форма (ЕЯ-форма) — это лексема или последовательность 
лексем (синонимы, метафоры и другие языковые конструкции в лингвистическом 
понимании), которые служат для указания на элементы множеств ПрО ответа. 

Дополнительные лексемы - это ЕЯ-формы, употребляемые для связки слов в 
предложении (союзы) или усиливающие выразительность ответа и употребляемые 
только в этой Про. 

Окончательный ответ — это ЕЯ-выражение, в котором присутствуют грамма- 
тически правильные и неправильные ЕЯ-формы, указывающие на элементы множеств 
ПрО, и ЕЯ-формы дополнительных лексем. 

Понятие окончательного ответа вводится для устранения ситуаций, присущих 
некоторым системам, в которых допускаются только грамматически правильные 
ответы. Это приводит к тому, что правильный, по сути, ответ считается ошибочным, 
если содержит хотя бы одну грамматическую ошибку. Для реализации более гибкой 
системы оценивания будем считать, что оценка окончательного ответа зависит от 
степени соответствия формально полному ответу, грамматической правильности и 
выразительности ответа (использования дополнительных лексем). Например, если 
кратко перечислены все составляющие формального ответа, но с грамматическими 
ошибками, то такой ответ оценивается как 75% окончательного ответа, если без 
грамматических ошибок, то — 85%, если в ответе присутствуют лексемы, усили- 
вающие выразительность ответа, то — 100%. 

Таким образом, задача анализа ЕЯ-ответа заключается в следующем: выделить в 
ответе ЕЯ-формы, которые указывают на конкретные элементы множества предметной 
области ответа, сравнить с моделью формально полного ответа, проверить грамматику 
и употребление ЕЯ-средств выразительности и по заданному критерию оценить ответ. 


Модель ответа на вопрос на перечисление 


В соответствии с постановкой задачи определим модель формально ПОЛНОГО 
ответа на вопрос на перечисление в виде пятерки: 
О =( 5, 15, В, Б, ЕГО), 
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где 5 — множество элементов предметной области ответа; [,5 — множество лексем и 
сочетаний лексем в основной морфологической форме; [5 = (1.5), [,5„ — подмножества 
лексем и сочетаний лексем (синонимы и метафоры) в основной морфологической 
форме, обозначающие элементы множества предметной области 5; п= [, ... М- 
количество элементов предметной области; К, — подмножества морфологических 
правил для ЕЯ-форм подмножеств [,5,; п = [, ... М- количество элементов предметной 
области; р — множество дополнительных лексем в основной морфологической форме; 
ЮГО — множество морфологических и синтаксических правил, определяющих грамма- 
тические правила сочетания лексем из [5 и О. 


Критерий оценки ответа и алгоритм анализа 


В основу критерия положена идея о том, что ответ может быть по сути правиль- 
ным, но содержать грамматические ошибки, которые могут иметь разную причину (не- 
внимательность, описки и т.д.). Будем считать, что соблюдение морфологических и 
синтаксических правил только показывает, что текст может иметь смысл, и не является 
определяющим при оценивании ответа. 

В соответствии с постановкой задачи критерий оценки окончательного ответа 
Е определяется следующим образом: 

ЕЕ=С+С+У, 

где С- коэффициент, показывающий степень близости ответа пользователя к 
формально полному ответу (оценивается от 35 до 75% окончательного ответа); С — 
коэффициент, учитывающий правильность морфологии и синтаксиса ответа пользо- 
вателя (оценивается от 0 до 15% окончательного ответа); У — коэффициент, учиты- 
вающий употребление дополнительных лексем в ответе пользователя (оценивается 
от 0 до 10% окончательного ответа). 

В соответствии с предложенной моделью и критерием оценки окончательного 
ответа разработан алгоритм, представленный на рис. 1. 


Ответ 
Определение элементов множества 
ПрО по лексемам ответа 


Выявлены 
элементы 
множества? 


да 


Морфологический анализ лексем 
Определение дополнительных лексем 


нет 


Ответ не верен 


Выявлены 
дополнительные 
лексемы? 
Морфологический и 
синтаксический анализ всего 
ответа 


Определение оценки окончательного ответа по 
критерию Е 


Рисунок | — Алгоритм анализа ответа на перечисление 
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Входными данными для оценивания окончательного ответа являются элементы 
множеств предметной области ответа, определенные по лексемам ответа, и результаты 
морфологического и синтаксического анализа входного предложения. Таким образом, 
при определении оценки окончательного ответа учитываются выходные данные со всех 
предшествующих блоков анализа. 


Выводы 


1 Ответ на вопрос в данной модели может иметь только один смысл или не 
иметь ни одного, поэтому проблема омонимии снимается. 

2 Данная модель допускает произвольный порядок слов в ответе, грамматические 
ошибки, короткие лаконичные ответы и развернутые ответы, использование синонимов и 
метафор. 

3 Модель формально полного ответа может создаваться на основе экспертных 
оценок, что уменьшает субъективность по сравнению с одним автором (учителем). 

4 Возможны различные критерии оценки окончательного ответа. 

5 Для более сложных классов вопросов необходимы более сложные модели фор- 
мально полных ответов, в которые модель ответа на перечисление может входить как 
составляющая. 
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АЗЧопа ехетез аге МГ.-Рогпл$, \ШсВ аге изе4 Гог ицеп$ Шуше апз\ег ехргезяуепез$. 

Ий@тае апзууег 1$ паага| 1апоцасе ехргез$1оп, ш \сВ этапптайсаПу соггесе ап4 
\топе МГ.-ГЮюгт$, ап МГ.-Рогиа$ ОЁ фе а4аопа1 |1ехетез аге ргезепи. 

шп ассог4апсе у рарег ригрозе, уе зВаП 4ейпе Фе тод4е| оЁ № епитегайоп 
апз\ег ш фе таппег оЁ аиширез: 

О =(5, 15, К», О, КГ), 

уУПеге: 

51$ а 5её оРепиу доташ @етепт($ оЁ апз\ег; 

[1,515 а зеё оЁ Пе 1ехетез ап4 сот Ыпайоп$ оЁ Фе ]ехетез ш фе таш тогрВо]ог1са1 
Гоги; 

[5 = (151), 

[515 а забзеё оЁ фе 1ехетез ап |ехетез зедиепсе (Фе зупопуп$ апа 
теарвог$) ш фе таш тогрВо]озлса| Гогт, а рошипс епибу доташ еетеп$ оЁ 5; п = 
1,..., М$ доташ @етеп( питбег; 

Киза зе оЁГ фе тогрВоо?1са| гез Гог МГ.-Рогт$ оЁ Фе зиб зе [5,; п = [, ..., М8 
доташ еетеп" питфег; 

) 15 а зе( оЁ Фе аа41опа1 1ехетез ш фе таш тогрВооз?лса| Тогт; 

ЮГО 15 а зе тогрВоо?1са[ ап4 зущах пез, \у1сВ дейпе$ отаттайса| тез оЁ Фе 
сотЫпайоп оЁ Фе 1ехетез Пот [5 апа О. 
Езбтаноп стцепоп оЁ фе атае апз\уег 1$ ргорозеч. 


Е=С+С+У, 


у\Бете: 

С1за Расюг, ушсВ $Во\$ 4естее оЁ ше сошс14епсе оЁ изег апз\уег то4е| апа фе 
ГогтаПу № апз\ег то4Е] (15 уашеа гот 35 БеГоге 75% ата апз\ег); 

С. 1$ а Тасбог, \у/шсьВ {аКез шо ассоипЕ соггесте$$ оЁ тогрВо]оз1ез апа зуах оЁ Фе 
изе апз\уег (15 уащеа гот О Бегоге 15% иШтае апз\уег); 

У1за Гасгог, \ысьВ паКез шо ассоипЕ фе изег апз\ег адЧ1юопа! 1ехетез (15 уаеа 
Нот 0 Бегоге 10% шШитае апз\ег); 

п ассогдапсе ул Фе оНеге4 тоде| ап4 езитайоп степоп, Фе апа[у$1$ апа езй- 
табоп аопрт 1$ 4ез1епед. Тре оНеге4 под аПо\уз 0 изе Ше зупопуп$ ап тебарбог$ шп 
апзу’егз. Тре @Иегепе стцепоп оЁ Фе езитайноп оЁ апз\ег 1$ роззЫе. ТВе епитегайоп 
апз\уег по4] сап етег © тоге сотрех ацезНоп с1а5$ез аз а сотропеите. 


Статья поступила в редакцию 08.05.2012. 
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